ประสิทธิ์ โฆวิไลกูล เริ่มต้นทำงานเป็นทนายความในสำนักงานทนายความประสิทธิ์ กาญจนวัฒน์ จากนั้นจึงได้ย้ายมาทำงานที่บริษัท กรุงเทพประกันภัย จำกัด และบริษัท ปูนซีเมนต์นครหลวง จำกัด ต่อมาได้เข้ามารับราชการเป็นอาจารย์สอนกฎหมาย คณะนิติศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย และอาจารย์สำนักอบรมศึกษากฎหมายแห่งเนติบัณฑิตยสภา อีกทั้งยังเป็นอาจารย์พิเศษ โรงเรียนนายร้อยตำรวจสามพราน หลังจากเกษียณอายุราชการ ได้มารับหน้าที่อธิการบดีมหาวิทยาลัยหัวเฉียวเฉลิมพระเกียรติ (พ.ศ. 2544 - 2549) [4]

ต่อมาในการจัดตั้งรัฐบาลหลังการรัฐประหาร พ.ศ. 2549 นำโดยพลเอกสุรยุทธ์ จุลานนท์ นายกรัฐมนตรี ซึ่งได้มีการปรับคณะรัฐมนตรีคณะแรกในเดือนพฤศจิกายน พ.ศ. 2549 และนายประสิทธิ์ โฆวิไลกูล ได้รับแต่งตั้งให้ดำรงตำแหน่งรัฐมนตรีประจำสำนักนายกรัฐมนตรี[5]ในการปรับคณะรัฐมนตรีครั้งนั้น ก่อนที่จะลาออกเนื่องจากปัญหาสุขภาพ ในเดือนพฤษภาคม พ.ศ. 2550 หลังจากที่ทำงานได้เพียง 6 เดือน[6]

นอกจากนั้น ยังได้รับโปรดเกล้าฯ แต่งตั้งเป็นกรรมการกฤษฎีกา สำนักงานคณะกรรมการกฤษฎีกา